查找引擎抓取頁(yè)面內(nèi)容是經(jīng)過(guò)網(wǎng)絡(luò)蜘蛛，蜘蛛經(jīng)過(guò)頁(yè)面中的文本連接遍歷網(wǎng)站web頁(yè)面，web 過(guò)超級(jí)文本懇求html文檔并拜訪web站點(diǎn)頁(yè)面，使用html言語(yǔ)符號(hào)、標(biāo)簽規(guī)劃來(lái)查找信息，獲取其他指向其他頁(yè)面的超文本url途徑。
    html標(biāo)簽一般分為以下幾類：文本、注釋、標(biāo)簽。頁(yè)面中除掉標(biāo)簽，一切數(shù)據(jù)都能夠當(dāng)作文本，由標(biāo)簽所圍住和操控。html標(biāo)簽反映了頁(yè)面的層次信息，包含了內(nèi)容規(guī)劃（經(jīng)過(guò)標(biāo)簽剖析文檔的規(guī)劃）、顯現(xiàn)作用（字體、色彩、階段區(qū)分）和語(yǔ)義信息（文本、多媒體、連接），因而咱們要確保數(shù)據(jù)在文本之內(nèi)和而腳本代碼大概盡能夠與網(wǎng)站標(biāo)簽別離，便利查找引擎蜘蛛對(duì)腳本代碼和數(shù)據(jù)文本辨認(rèn)并做好有關(guān)語(yǔ)義化規(guī)劃剖析。
    經(jīng)過(guò)對(duì)頁(yè)面的html言語(yǔ)規(guī)劃處置，查找引擎會(huì)構(gòu)建頁(yè)面規(guī)劃Dom樹(shù)（供給的拜訪XML文檔信息的前言是一種分層目標(biāo)模型，在對(duì)XML文檔進(jìn)行剖析之后，不論文檔簡(jiǎn)略、雜亂，都把其間的信息都會(huì)被轉(zhuǎn)化成一棵目標(biāo)節(jié)點(diǎn)樹(shù)），頁(yè)面嵌套層次越深，標(biāo)簽和內(nèi)容越來(lái)越多，當(dāng)瀏覽器無(wú)法批改標(biāo)簽時(shí)，就會(huì)“將某個(gè)過(guò)錯(cuò)塊內(nèi)的一切標(biāo)簽悉數(shù)去掉，僅保存內(nèi)容”。解析Dom時(shí)不會(huì)更改頁(yè)面html代碼文件，僅僅對(duì)頁(yè)面進(jìn)行解析，這也是為何頁(yè)面html過(guò)錯(cuò)需要去驗(yàn)證，而瀏覽器選用的主動(dòng)修正和兼容性方法，因而不驗(yàn)證發(fā)現(xiàn)不了過(guò)錯(cuò)，并且在解析過(guò)程中會(huì)對(duì)剩余的標(biāo)簽和特點(diǎn)進(jìn)行鏟除，無(wú)法批改和鏟除的將會(huì)主動(dòng)除掉，這即是瀏覽器的“收拾形式”。一般來(lái)說(shuō)其次這種樹(shù)形規(guī)劃也是根據(jù)標(biāo)簽的根底（標(biāo)簽與標(biāo)簽區(qū)分一個(gè)區(qū)域，標(biāo)簽之間并排或許彼此嵌套形成了頁(yè)面文件的樹(shù)形規(guī)劃），查找引擎蜘蛛經(jīng)過(guò)經(jīng)過(guò)對(duì)頁(yè)面不相同的標(biāo)簽對(duì)頁(yè)面進(jìn)行分塊。
    頁(yè)面的Dom樹(shù)與頁(yè)面的分塊緊密聯(lián)系，其間html標(biāo)簽、視覺(jué)信息對(duì)頁(yè)面進(jìn)行分塊的主要依據(jù)，相應(yīng)從連接剖析和內(nèi)容文本中抓取和辨認(rèn)主題，頁(yè)面的不相同主題和內(nèi)容之間的分塊也能夠經(jīng)過(guò)標(biāo)簽和連接來(lái)進(jìn)行信息構(gòu)建，這即是web規(guī)區(qū)分塊算法，查找引擎在解析是更著重“內(nèi)容塊”的概念，即一個(gè)標(biāo)簽一個(gè)塊。查找引擎解析構(gòu)建dom樹(shù)時(shí)，當(dāng)解析發(fā)作過(guò)錯(cuò)（標(biāo)簽不匹配）就會(huì)啟用收拾形式，但修正過(guò)錯(cuò)能夠僅僅關(guān)于塊為單位，即查找過(guò)錯(cuò)塊節(jié)點(diǎn)的上一級(jí)節(jié)點(diǎn)（上一級(jí)過(guò)錯(cuò)，持續(xù)查找上一級(jí)），若是上一級(jí)沒(méi)有過(guò)錯(cuò)，那么塊內(nèi)一切子塊與兒孫塊的標(biāo)簽悉數(shù)除掉。所以網(wǎng)站規(guī)劃契合web規(guī)劃規(guī)劃標(biāo)準(zhǔn)代碼標(biāo)準(zhǔn)，這樣查找引擎蜘蛛才干非常好的對(duì)網(wǎng)站主題進(jìn)行辨認(rèn)，經(jīng)過(guò)對(duì)主題的辨認(rèn)和分類，然后提升了咱們網(wǎng)站關(guān)鍵詞排行。
    從查找引擎的視點(diǎn)來(lái)講，在剖析內(nèi)容之前條件也會(huì)像瀏覽器相同要先構(gòu)建一棵完好的dom樹(shù)，只有當(dāng)這棵樹(shù)構(gòu)建完結(jié)，查找引擎才干斷定頁(yè)面中上下文的聯(lián)系，才不會(huì)致使頁(yè)面板塊權(quán)重發(fā)作偏移，當(dāng)頁(yè)面節(jié)點(diǎn)層次較多時(shí)，要注意標(biāo)簽的層次過(guò)錯(cuò)，越挨近頂層的節(jié)點(diǎn)越要注意，特別是完畢標(biāo)簽，關(guān)于搜索引擎優(yōu)化的影響是喪命的，其次頁(yè)面節(jié)點(diǎn)越少越好，一方面減少了查找引擎解析節(jié)點(diǎn)擔(dān)負(fù)，其次有利于查找引擎更簡(jiǎn)單斷定節(jié)點(diǎn)上下文聯(lián)系和對(duì)關(guān)鍵詞進(jìn)行加權(quán)處置。
    其次web規(guī)劃頁(yè)面規(guī)劃需求規(guī)劃（html）和體現(xiàn)(css)別離，當(dāng)標(biāo)簽的特點(diǎn)能用css代替時(shí)，則盡能夠移到css中去，這樣不只縮減了頁(yè)面文件大小，提高了蜘蛛索引和抓取網(wǎng)站頁(yè)面的功率，并且關(guān)于頁(yè)面主題的辨認(rèn)，以及頁(yè)面內(nèi)容的分塊，和網(wǎng)站權(quán)重規(guī)劃優(yōu)化等方面都有重要意義。